1.5.5 책임 소재의 불분명함: AI의 오판단에 대한 개발자 vs 모델 제공자의 책임 공방

소프트웨어 개발의 패러다임이 결정론적 알고리즘에서 확률적 추론으로 이행함에 따라, 시스템의 오동작으로 인한 책임 소재 규명은 과거와 비교할 수 없을 정도로 복잡한 양상을 띠게 되었다. 전통적인 소프트웨어 공학에서는 소스 코드의 논리적 결함이나 요구사항 명세의 오류를 추적하여 책임의 주체를 명확히 할 수 있었다. 그러나 거대 언어 모델(LLM)을 포함한 현대의 인공지능 시스템은 그 내부 작동 원리를 완전히 설명할 수 없는 ’블랙박스(Black Box)’적 특성을 지니며, 이는 법적, 윤리적 책임의 공백을 야기한다. 특히 AI 모델을 직접 개발하고 훈련시킨 ’모델 제공자(Provider)’와 이를 활용하여 특정 도메인의 서비스를 구축한 ‘소프트웨어 개발자(Deployer)’ 사이의 책임 공방은 기술 생태계의 지속 가능성을 위협하는 핵심 쟁점으로 부상하고 있다.

1. AI 책임 공유 모델의 구조와 계층적 분석

AI 시스템의 책임을 이해하기 위해서는 클라우드 컴퓨팅의 ’책임 공유 모델(Shared Responsibility Model)’을 AI 환경에 맞게 재해석할 필요가 있다. 기존의 클라우드 모델이 인프라와 플랫폼의 보안 및 관리 책임을 다루었다면, AI 책임 공유 모델은 데이터의 품질, 모델의 편향성, 그리고 출력의 정확성까지 포함하는 다층적 구조를 갖는다.

1.1 AI 기술 계층별 책임 소재 비교 분석

AI 시스템은 크게 인프라 및 기반 모델을 제공하는 계층과 이를 서비스에 통합하는 계층, 그리고 최종적으로 이를 사용하는 계층으로 나뉜다. 각 계층에서의 책임 범위는 다음과 같이 요약할 수 있다.

이러한 계층 구조에도 불구하고 실제 사고 발생 시 책임 소재가 불분명해지는 이유는 ’AI 사용 계층(Usage Layer)’과 ‘AI 애플리케이션 계층(Application Layer)’ 사이의 상호작용이 매우 유동적이기 때문이다. 모델 제공자는 자사의 모델이 확률적으로 작동함을 강조하며 “있는 그대로(As-is)” 제공한다는 점을 약관에 명시하여 책임을 회피하고, 개발자는 모델의 내부 가중치를 통제할 수 없다는 논리로 방어에 나선다.

2. 규제 체계의 진화: EU AI Act와 제공자 vs 배포자의 의무

유럽연합(EU)은 AI 법(EU AI Act)을 통해 AI 가치 사슬 내의 행위자들을 ’제공자(Provider)’와 ’배포자(Deployer)’로 명확히 구분하고, 각기 다른 법적 의무를 부과함으로써 책임의 공백을 메우려 시도하고 있다.

2.1 제공자(Provider)의 엄격한 준수 의무

EU AI Act에 따르면, 제공자는 AI 시스템을 개발하거나 개발하도록 하여 자신의 이름이나 상표로 시장에 출시하거나 서비스를 개시하는 주체를 의미한다. 고위험 AI 시스템의 제공자는 다음과 같은 포괄적인 책임을 진다.

• 품질 관리 및 적합성 평가: 제공자는 시스템이 시장에 출시되기 전 엄격한 적합성 평가(Conformity Assessment)를 거쳐야 하며, 지속적인 품질 관리 시스템(Quality Management System)을 운영해야 한다. 이는 모델의 훈련, 테스트, 검증 과정에서의 투명성을 포함한다.
• 기술 문서 및 로그 보존: 시스템의 작동 원리와 한계를 상세히 기술한 문서를 작성해야 하며, 시스템이 생성하는 로그를 자동적으로 기록하고 보존할 수 있는 기술적 장치를 마련해야 한다.
• 투명성 제공: 하류(Downstream) 배포자가 AI 시스템을 안전하게 사용할 수 있도록 충분한 정보를 포함한 ’사용 지침(Instructions for Use)’을 제공해야 한다.

2.2 배포자(Deployer)의 운영상 책임

배포자는 자신의 권한하에 AI 시스템을 사용하는 주체(전문적 활동의 맥락에서 사용하는 개인 혹은 조직)를 의미한다. 배포자의 책임은 시스템의 ’운영’과 ’모니터링’에 집중된다.

• 지침 준수 및 감독: 제공자가 전달한 사용 지침에 따라 시스템을 사용해야 하며, 적절한 교육을 받은 인원을 통해 인간 감독(Human Oversight)을 수행해야 한다.
• 입력 데이터 관리: 배포자가 입력 데이터에 대한 통제권을 갖는 경우, 해당 데이터가 시스템의 목적에 부합하고 충분히 대표성을 갖는지 확인해야 할 의무가 있다.
• 리스크 보고: 시스템 작동 중 심각한 사건(Serious Incident)이나 규정 위반 가능성을 발견하면 즉시 제공자와 관계 당국에 이를 통보해야 한다.

여기서 발생하는 중요한 갈등 지점은 ’실질적 수정(Substantial Modification)’에 대한 해석이다. 만약 배포자가 모델의 목적을 변경하거나 성능에 영향을 미치는 수준의 수정을 가할 경우, 배포자는 법적으로 ’제공자’의 지위를 갖게 되어 모든 엄격한 의무를 떠안게 된다. 이는 AI 오픈소스 모델을 파인튜닝하거나 복잡한 프롬프트 체인을 구축하는 소프트웨어 개발자들에게 상당한 법적 리스크를 부여하는 요소가 된다.

3. 제조물 책임법(PLD)과 AI 책임 지침(AILD)의 충돌

전통적인 제조물 책임(Product Liability) 이론은 소프트웨어를 ’제품’으로 볼 것인지에 대해 오랜 논쟁을 이어왔다. AI 시대에 접어들어 유럽위원회는 제조물 책임 지침(PLD)을 개정하고, 새로운 AI 책임 지침(AILD)을 제안함으로써 피해 구제 체계를 정비하고 있다.

3.1 무과실 책임(Strict Liability) vs 과실 책임(Fault-based Liability)

PLD는 AI 제조자(모델 제공자)에게 더 엄격한 책임을 묻는 경향이 있는 반면, AILD는 피해자가 개발자나 운영자의 과실을 증명하는 과정에서의 어려움을 덜어주는 데 중점을 둔다. 특히 AI의 복잡성과 불투명성으로 인해 피해자가 인과관계를 입증하기 불가능한 경우, 법원이 일정한 조건 하에 인과관계가 존재한다고 ’추정’할 수 있게 한 점은 개발자에게 매우 위협적인 조항으로 작용할 수 있다.

4. 불법행위법(Tort Law)상의 과실과 주의 의무(Duty of Care)

법원이 AI 사고를 다룰 때 가장 먼저 검토하는 기준은 ‘주의 의무(Duty of Care)’ 위반 여부이다. Unravelling Responsibility for AI 논문에서 제시된 바와 같이, 책임은 ’행위자 A가 발생 사건 O에 대해 책임이 있다’는 삼항 관계(Actor-Occurrence-Responsibility)로 분석된다.

4.1 인과관계의 분절과 블랙박스 챌린지

전통적인 과실치사상죄나 손해배상 청구에서 핵심은 ’예견 가능성(Foreseeability)’과 ’근접 인과관계(Proximate Cause)’이다. 그러나 AI의 비결정성은 개발자가 모든 결과물을 예견하는 것을 원천적으로 차단한다.

1. 개발자의 방어 논리: “우리는 업계 표준의 테스트와 안전 가드레일을 적용했다. 하지만 LLM의 확률적 특성상 100만 번 중 한 번 발생하는 비정상적 출력을 제어하는 것은 기술적으로 불가능하며, 이는 예견 가능한 범위를 벗어난 것이다”.
2. 모델 제공자의 방어 논리: “기반 모델은 범용 도구일 뿐이다. 이를 특정 위험 도메인(예: 의료, 법률)에 적용하고 검증 장치(Oracle)를 마련하지 않은 것은 하류 개발자의 설계 과실이다”.
3. 피해자의 공격 논리: “블랙박스 뒤에 숨어서 책임을 회피해서는 안 된다. 위험한 기술을 시장에 출시했다면 그로 인한 모든 통계적 확실성(Statistical Certainty)에 대해 책임을 져야 한다”.

Holding AI Accountable: Addressing AI-related Harms Through Existing Tort Doctrines에 따르면, AI의 불투명성에도 불구하고 법원은 ’합리적인 사람(Reasonable Person)’의 기준을 AI 전문가와 개발자에게 적용하려 한다. 즉, 해당 기술 분야의 관행과 NIST의 AI 위험 관리 프레임워크(AI RMF)와 같은 표준을 준수했는지가 과실 여부를 판단하는 잣대가 된다.

5. 계약적 면책의 한계: OpenAI와 Anthropic 약관 분석

대부분의 상용 AI 모델 제공자는 서비스 이용 약관을 통해 법적 책임을 최소화하려 노력한다. 이는 개발자가 AI 서비스를 구축할 때 가장 먼저 마주하는 거대한 법적 장벽이다.

5.1 주요 LLM 제공자의 책임 제한 조항 비교

이러한 약관은 모델 제공자를 강력하게 보호하는 반면, 개발자를 고립시킨다. 개발자가 API를 사용하여 만든 서비스가 오판단을 내려 사용자에게 금전적 손실을 입혔을 때, 모델 제공자는 약관상의 “As-is” 조항을 근거로 책임을 부인한다. 결국 개발자는 모델을 통제할 권한은 없으면서 사고의 책임은 일선에서 져야 하는 ’책임의 비대칭성’에 직면하게 된다.

6. 실전 사례 연구: AI 오판단과 법적 귀결

책임 공방의 양상을 구체적으로 확인하기 위해 최근 발생한 주요 사례들을 검토할 필요가 있다.

6.1 항저우 인터넷 법원의 AI 환각 사건 (2025)

중국 항저우 인터넷 법원은 AI 서비스 제공자가 대학의 존재하지 않는 캠퍼스 정보를 생성하고 허위의 배상 약속까지 한 사건에서 제공자의 손을 들어주었다.

• 법원 판단: AI는 민사 주체가 아니므로 법적 표현의 주체가 될 수 없다. 제공자가 AI 서비스임을 명시하고 오류 가능성을 고지(라벨링)하는 등 ’업계 표준의 주의 의무’를 다했다면, 결과의 절대적 정확성을 보장할 의무는 없다.
• 시사점: 이 판결은 모델 제공자에게 강력한 방어 논리를 제공하는 동시에, AI의 답변을 그대로 믿고 비즈니스 의사결정을 내린 사용자 혹은 이를 방치한 서비스 개발자의 책임을 가중시키는 결과를 낳았다.

6.2 Schwartz vs. LoDuca 법률 문서 조작 사건

챗GPT가 생성한 허위 판례를 법정에 제출한 변호사들이 제재를 받은 사례는 AI 시스템의 오판단이 전문가의 ’검증 의무’를 대체할 수 없음을 명확히 보여준다. 법원은 기술의 결함보다 전문가가 결과물을 독립적으로 확인하지 않은 행위를 ‘객관적 합리성’ 결여로 판단했다.

6.3 의료 및 금융 AI의 잠재적 리스크

의료 진단 AI가 암을 오진하거나 핀테크 알고리즘이 특정 인종을 차별하여 대출을 거부하는 경우, 책임은 복잡하게 얽힌다. The Shared Responsibility Model for Responsible AI에서는 이를 자동차 제조사와 운전자의 관계에 비유한다. 제조사(모델 제공자)는 엔진의 안전성을 보장해야 하지만, 위험한 도로(도메인 특화 데이터)에서 운전(시스템 운영)하는 것은 운전자(개발자 및 사용자)의 몫이라는 논리다.

7. 결정론적 오라클을 통한 개발자의 책임 방어 전략

AI의 비결정성이 초래하는 책임 공방에서 소프트웨어 엔지니어가 취할 수 있는 최선의 방책은 ’기술적 주의 의무’를 다했음을 입증할 수 있는 객관적 증거, 즉 결정론적 오라클(Deterministic Oracle) 시스템을 구축하는 것이다.

7.1 엔지니어링적 책임 완화 매커니즘

단순히 AI 모델에 프롬프트를 던지고 결과를 받아보는 ’느낌적 코딩(Vibe Coding)’은 법적 방어력을 갖지 못한다. 개발자는 다음과 같은 엔지니어링적 장치를 통해 자신의 책임을 제한할 수 있다.

1. 구조적 출력 강제 (Structured Outputs): JSON Schema 등을 활용하여 AI가 비즈니스 로직을 벗어난 응답을 하지 못하도록 물리적으로 제한한다. 이는 모델의 오판단이 서비스 전체의 논리적 붕괴로 이어지는 것을 막는 일차 방어선이다.
2. 독립적 검증 오라클 (Cross-Verification): AI의 판단이 도메인 규칙을 준수하는지 별도의 결정론적 코드로 검사한다. 예를 들어, 금융 AI가 대출 승인 결과를 내놓으면, 실제 금융 규제 수식을 코드로 구현한 오라클이 이를 재검증하여 일치할 때만 최종 승인하는 방식이다.
3. 인간 감독의 실질화 (Human-in-the-loop): 특히 고위험 영역에서는 AI를 ’의사결정 보조 도구’로 한정하고, 최종 승인권자의 검토 로그를 남김으로써 법적 주의 의무를 완수했음을 기록한다.
4. 포괄적 로깅 및 사후 분석 (Post-market Monitoring): 입력 프롬프트, 모델 버전, 출력값, 그리고 당시의 시스템 컨텍스트를 모두 아카이빙한다. 이는 추후 사고 발생 시 책임이 모델 자체의 결함(제공자)에 있는지, 아니면 부적절한 입력값(사용자)에 있는지 규명하는 핵심 증거가 된다.

8. 결론: 비결정성 시대의 새로운 책임 윤리

AI의 오판단에 대한 책임 공방은 기술적 문제를 넘어 비즈니스 계약과 법적 규제가 얽힌 거대한 사회적 협상 과정이다. 현재의 흐름은 모델 제공자에게는 ’기초적인 안전성과 투명성’의 책임을, 소프트웨어 개발자에게는 ’도메인 특화된 검증과 운영’의 책임을 묻는 방향으로 정리되고 있다.

개발자는 더 이상 AI 모델의 자율성을 핑계로 책임을 회피할 수 없다. Unravelling Responsibility for AI의 지적처럼, 시스템의 자율성이 높아질수록 그 시스템을 배치한 인간 행위자의 ’역할 책임(Role Responsibility)’은 더욱 무거워진다. 따라서 엔지니어링 팀은 확률적 시스템의 불확실성을 상쇄할 수 있는 결정론적 오라클 체계를 구축함으로써, 기술적 신뢰성을 확보함과 동시에 잠재적인 법적 책임으로부터 조직을 보호해야 한다. 결국 AI 시대의 책임 공방에서 최후의 승자는 “AI가 그렇게 말했다“라고 변명하는 자가 아니라, “우리는 AI의 출력을 다음과 같은 확정적 기준으로 검증했다“라고 증명할 수 있는 자가 될 것이다.

9. 참고 자료

1. Understanding the AI Shared Responsibility Model: A Comprehensive Framework for Security and Risk… - Juan Pablo Castro, https://cybersecuritycompass.org/understanding-the-ai-shared-responsibility-model-a-comprehensive-framework-for-security-and-risk-9f5c11ea76e3
2. The regulation of AI liability in Europe: a critical overview of two recent directive proposals – the (new) AILD and the (revised) PLD - e-Publica, https://e-publica.pt/api/v1/articles/127703-the-regulation-of-ai-liability-in-europe-a-critical-overview-of-two-recent-directive-proposals-the-new-aild-and-the-revised-pld.pdf
3. Holding AI Accountable: Addressing AI-Related Harms Through Existing Tort Doctrines, https://lawreview.uchicago.edu/online-archive/holding-ai-accountable-addressing-ai-related-harms-through-existing-tort-doctrines
4. ISACA Now Blog 2025 The Shared Responsibility Model for …, https://www.isaca.org/resources/news-and-trends/isaca-now-blog/2025/the-shared-responsibility-model-for-responsible-ai
5. The roles of the provider and deployer in AI systems and models | Stephenson Harwood, https://www.stephensonharwood.com/insights/the-roles-of-the-provider-and-deployer-in-ai-systems-and-models/
6. Legal Liability for AI Decisions: Who Is Responsible When AI Fails? | HFW, https://www.hfw.com/insights/legal-liability-for-ai-driven-decisions-when-ai-gets-it-wrong-who-can-you-turn-to/
7. Shared responsibility in the cloud - Microsoft Azure, https://learn.microsoft.com/en-us/azure/security/fundamentals/shared-responsibility
8. Article 16: Obligations of providers of high-risk AI systems | AI Act …, https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-16
9. Key Issue 5: Transparency Obligations - EU AI Act, https://www.euaiact.com/key-issue/5
10. Article 26: Obligations of Deployers of High-Risk AI Systems | EU …, https://artificialintelligenceact.eu/article/26/
11. 10 Examples of AI Hallucination That Impacts Trust and Revenue - Galileo AI, https://galileo.ai/blog/ai-hallucination-examples
12. AI governance: A guide to responsible AI for boards - Diligent, https://www.diligent.com/resources/blog/ai-governance
13. AI Accountability: Stakeholders in Responsible AI Practices, https://www.lumenova.ai/blog/responsible-ai-accountability-stakeholder-engagement/
14. Terms of Use - OpenAI, https://openai.com/policies/row-terms-of-use/
15. Terms of use - Read Easy.ai, https://readeasy.ai/terms-of-use/
16. Service terms - OpenAI, https://openai.com/policies/service-terms/
17. OpenAI Services Agreement, https://openai.com/policies/services-agreement/
18. Anthropic on Bedrock - Commercial Terms of Service, https://www-cdn.anthropic.com/6b68a6508f0210c5fe08f0199caa05c4ee6fb4dc/Anthropic-on-Bedrock-Commercial-Terms-of-Service_Dec_2023.pdf
19. The Law of AI is the Law of Risky Agents Without Intentions, https://lawreview.uchicago.edu/online-archive/law-ai-law-risky-agents-without-intentions
20. Artificial intelligence liability directive - European Parliament, https://www.europarl.europa.eu/RegData/etudes/BRIE/2023/739342/EPRS_BRI(2023)739342_EN.pdf
21. Proposal for a directive on adapting non-contractual civil liability rules to artificial intelligence - European Parliament, https://www.europarl.europa.eu/RegData/etudes/STUD/2024/762861/EPRS_STU(2024)762861_EN.pdf
22. Wagner Liability Rules for the Digital Age SSRN - Humboldt-Universität zu Berlin, https://www.rewi.hu-berlin.de/de/lf/oe/rdt/pub/wagner-liability-rules-for-the-digital-age-1.pdf/@@download/file/Wagner%2C%20Liability%20Rules%20for%20the%20Digital%20Age.pdf
23. Balancing Legal Liability and AI Innovation - Skemman, https://skemman.is/bitstream/1946/44425/1/ML%20Gabri%CC%81ela%20-%20Loka.pdf
24. Unravelling Responsibility for AI - White Rose Research Online, https://eprints.whiterose.ac.uk/id/eprint/202270/8/2308.02608v2.pdf
25. Unravelling responsibility for AI - Please log in to continue, https://pure.york.ac.uk/portal/files/131035464/1-s2.0-S2666659625000204-main.pdf
26. NEGLIGENCE AND AI’S HUMAN USERS - Boston University, https://www.bu.edu/bulawreview/files/2020/09/SELBST.pdf
27. Negligence Liability for AI Developers - Lawfare, https://www.lawfaremedia.org/article/negligence-liability-for-ai-developers
28. Liability for Harms from AI Systems - RAND, https://www.rand.org/pubs/research_reports/RRA3243-4.html
29. Catastrophic Liability: Managing Systemic Risks in Frontier AI Development - arXiv, https://arxiv.org/html/2505.00616v2
30. ANTHROPIC SERVICES AGREEMENT - AIBY Inc., https://aiby.mobi/chat_ios/anthropic/ai-services-agreement.pdf
31. GKU-AI And ML713 - English - Flipbook by Mohammad Nazmul Alam | FlipHTML5, https://fliphtml5.com/fkwlz/vtoh/GKU-AI_And_ML713_-English/
32. Chinese AI Service Provider Found Not Liable for Generating AI “Hallucinations” - KWM, https://www.kwm.com/cn/en/insights/latest-thinking/chinese-ai-service-provider-found-not-liable-for-generating-ai-hallucinations.html
33. AI Developer Not Liable for Hallucination Errors: Chinese Court - Sixth Tone, https://www.sixthtone.com/news/1018138
34. Understanding AI Liability: Who’s Responsible When Algorithms Err?, https://oal-law.medium.com/understanding-ai-liability-whos-responsible-when-algorithms-err-fe8e4c48fbe1?source=rss——ai-5